Vào ngày 26 tháng 4 năm 1954, hội nghị Genève về Đông Dương chính thức được khai mạc. Từ ngày 8 tháng 5 đến ngày 23 tháng 6, các bên trình bày lập trường của mình về cách giải quyết vấn đề Việt Nam và Đông Dương. Do lập trường giữa các đoàn có một khoảng cách khá lớn nên các cuộc đàm phán tiến triển rất chậm chạp. Tuy nhiên, sự nhân nhượng lẫn nhau chỉ xuất hiện trong các cuộc thảo luận riêng. Cuối cùng, Pháp và Trung Quốc đã thỏa thuận một giải pháp chung cho vấn đề Đông Dương: giải quyết vấn đề quân sự trước, tách rời giải pháp chính trị tại ba nước Đông Dương.

Từ ngày 24 tháng 6 đến ngày 20 tháng 7, phái đoàn Pháp và Việt Nam Dân chủ Cộng hòa đàm phán trực tiếp để giải quyết các vấn đề cụ thể, xoay quanh các vấn đề: quyền tham gia hội nghị của các đại biểu chính phủ kháng chiến Lào và chính phủ kháng chiến Campuchia; chọn vĩ tuyến để khẳng định giới tuyến quân sự tạm thời và thời hạn tổ chức tổng tuyển cử tự do để thống nhất Việt Nam.

Ngày 6/7, Chủ tịch Hồ Chí Minh tuyên bố: "Với những vấn đề được thảo luận, Hội nghị đã mở đường cho việc lập lại hoà bình ở Đông Dương. Trên cơ sở đó, nếu đối phương cũng thành thật muốn đàm phán như chúng ta (Việt Nam) mà cũng cố gắng để lập lại hòa bình ở Đông Dương, thì hoà bình Đông Dương có thể thực hiện. Theo đúng lập trường của ta từ trước đến nay, nước Việt Nam Dân chủ Cộng hoà sẽ tiếp tục cố gắng đấu tranh cho hoà bình, độc lập, thống nhất, dân chủ của Tổ quốc...”"[17]

Ngày 13-7, trong cuộc gặp riêng với Thủ tướng mới của Pháp là M. France, Trưởng đoàn Phạm Văn Đồng đề nghị lấy Vĩ tuyến 16 nhưng Pháp đòi Vĩ tuyến 18.[38] Phái đoàn Pháp do được phía Trung Quốc mật báo về việc sẽ ép Việt Nam chấp nhận vĩ tuyến 16 nên cố tình không quan tâm tới các đề nghị của Phạm Văn Đồng. Khi thấy tình hình khó khăn như dự báo của Chủ tịch Hồ Chí Minh, Phạm Văn Đồng đã đưa ra ba nhượng bộ đã được chuẩn bị trước. Tuy nhiên, trưởng phái đoàn Pháp là Mendes bày tỏ sự nghi ngờ với phía Việt Nam khi cho rằng nhiều khả năng Việt Nam sẽ phong tỏa Đường 9 - Khe Sanh như Liên Xô đã làm khi phong tỏa Tây Berlin sau Chiến tranh Thế giới lần thứ hai. Căn cứ vào diễn biến giữa Lào và Pháp, phái đoàn Việt Nam đã nhận định Đường 9 rất quan trọng với Pháp chứ không phải đơn thuần là một chiêu bài đàm phán khi Pháp rất cứng rắn khi nhắc tới vấn đề Lào và trước khi từ nhiệm, Tổng thống Eisenhower cũng đã ép Tổng thống Kenedy bằng mọi giá phải giữ được Vương quốc Lào (thân Pháp).[23]

Theo đúng kế hoạch, phái đoàn Việt Nam Dân chủ Cộng hòa đề nghị phương án tập kết tại chỗ, không chia khu vực tập kết quân sự ngay khi đàm phán bắt đầu. Đúng như Hồ Chí Minh dự đoán, phía Pháp ngay lập tức bác bỏ phương án này. Pháp đã đưa ra đề nghị tạm chia vùng tập kết quân sự và lập một chính phủ Liên hiệp. Việt Nam Dân chủ Cộng hòa chấp nhận ý kiến về giới tuyến quân sự và Tổng tuyển cử đồng thời đưa ra những đề nghị về làn phân ranh. Hai bên mặc cả với nhau, Pháp thì đề nghị ở vĩ tuyến 18[38], Việt Nam Dân chủ Cộng hòa thì muốn ở vĩ tuyến 13 vì họ muốn có cố đô Huế, cũng như các vị trí chiến lược như Đà Nẵng hay Tây Nguyên[39]. Ngày 9-7-1954, phái đoàn Việt Nam Dân chủ Cộng hòa đưa ra đề nghị hạ xuống vĩ tuyến 14, Pháp vẫn giữ vững vĩ tuyến 18. Ngày 13-7, phái đoàn Việt Nam Dân chủ Cộng hòa lại hạ yêu cầu xuống vĩ tuyến 16. Ngày 17-7, phái đoàn Pháp ngả bài ngửa khi đề nghị giới tuyến quân sự ở vĩ tuyến nào không quan trọng miễn là nó phải ở phía Bắc của Đường 9. Đến ngày 19-7 thì hai bên thoả thuận ranh giới tạm thời sẽ ở độ vĩ tuyến 17, cách Đường 9 khoảng 10 km và phù hợp với ý kiến của Anh và Mỹ cũng như được Trung Quốc và Liên Xô ủng hộ. Phía Pháp đã phải nhượng bộ khi chấp nhận sẽ tổ chức Tổng tuyển cử vào tháng 6/1956 thay vì lập lờ về thời gian tổ chức Tổng tuyển cử như trong các phiên thảo luận trước cũng như chấp nhận yêu cầu ghi rõ ràng bằng văn bản rằng: "Giới tuyến quân sự là tạm thời và không thể được diễn giải theo bất kỳ cách nào về pháp lý để trở thành đường biên giới chính trị hay lãnh thổ."

Người Pháp sợ cuộc thảo luận với Việt Nam Dân chủ Cộng hòa bị phá vỡ nên họ tránh gặp đại diện của Quốc gia Việt Nam và chỉ thông qua Mỹ báo cho Quốc gia Việt Nam biết thỏa thuận giữa Pháp và Việt Nam Dân chủ Cộng hòa. Việc thiết lập hai vùng tập kết quân sự đã được thảo luận riêng giữa Pháp, Việt Nam Dân chủ Cộng hòa, Trung Quốc và Mỹ nhưng chỉ đến cuối Hội nghị Genève phái đoàn Quốc gia Việt Nam mới biết về vấn đề này. Chính vì thế họ từ chối ký Hiệp định Genève và có những tuyên bố cứng rắn đối với việc phân chia Việt Nam. Cho đến khi kết thúc Hội nghị Genève, cả Việt Nam Dân chủ Cộng hòa và Quốc gia Việt Nam đều không chịu đối thoại với nhau.[40]

Ngày 19 tháng 7, sau khi trao đổi với đoàn Liên Xô và Việt Nam, Trung Quốc xác nhận với đoàn Pháp lập trường về đường giới tuyến đặt ở Vĩ tuyến 17 trong khi phía Việt Nam vẫn cương quyết đề nghị lấy Vĩ tuyến 16. Chu Ân Lai nói với phái đoàn Việt Nam Dân chủ Cộng hòa “nếu các đồng chí đánh tiếp, Mỹ sẽ nhảy vào can thiệp”[41]. Phải đến phiên họp cuối buổi chiều ngày 20-7, để hội nghị có thể kết thúc được, phía Việt Nam mới chấp nhận Vĩ tuyến 17.

Ngày 20 tháng 7 năm 1954, Hiệp định Genève về Đông Dương bắt đầu được ký kết với nhiều văn kiện, chủ yếu là:

1. Ba hiệp định đình chỉ chiến sự tại Việt Nam, Lào và Campuchia
2. Bản tuyên bố cuối cùng của hội nghị (không có chữ ký nhưng không có tuyên bố phản đối của các bên tham gia Hội nghị đồng nghĩa với việc Bản Tuyên bố cuối cùng được các bên chấp thuận)

Ngoài ra còn những tuyên bố riêng và những văn kiện ngoại giao riêng giữa các nước tham gia như:

1. Bản tuyên bố riêng ngày 21 tháng 7 của Mỹ tại Hội nghị Genève
2. Bản tuyên bố của chính phủ Pháp ngày 21 tháng 7, trong đó nêu rõ Pháp sẵn sàng rút quân ra khỏi lãnh thổ Việt Nam, Lào, Campuchia theo lời yêu cầu của chính phủ những nước có liên quan trong một thời gian do các bên thoả thuận.
3. Các công hàm trao đổi giữa Trưởng đoàn Việt Nam Dân chủ Cộng hòa Phạm Văn Đồng và Thủ tướng Pháp Pierre Mendès-France.

Hiệp định đình chỉ chiến sự tại Việt Nam và Lào được ký bởi đại diện của hai lực lượng quân sự chính có liên quan, đó là Thiếu tướng Delteil, thay mặt cho Tổng Tư lệnh Quân đội Liên hiệp Pháp ở Đông Dương, và giáo sư Tạ Quang Bửu, Thứ trưởng Bộ Quốc phòng Việt Nam Dân chủ Cộng hòa, thay mặt cho Tổng Tư lệnh Quân đội Nhân dân Việt Nam. Phái đoàn Hoa Kỳ từ chối công nhận Hiệp định Genève nhưng tuyên bố rằng nước này "sẽ coi mọi sự tái diễn của các hành động bạo lực vi phạm hiệp định là điều đáng lo ngại và là mối đe dọa nghiêm trọng đối với hòa bình và an ninh quốc tế"[42]. Chính phủ Quốc gia Việt Nam từ chối ký và theo Bernard B. Fall không đủ thực quyền để ký kết Hiệp định.[43]